人脸识别已被证明是最成功的技术之一，并影响异质域。由于基于卷积的架构，深入学习在计算机愿景任务中被证明是最成功的。自深远学习的出现以来，人脸识别技术的准确性大幅增加。在本文中，调查了一些最有影响力的面部识别系统。首先，本文概述了一般面部识别系统。其次，调查涵盖了各种网络架构和培训损失，这具有实质性的影响。最后，纸质涉及用于评估面部识别系统的能力的各种数据库。

SARS-COV2病毒对人口引起了大量趋势。可以准确地确定一个人是否被Covid-19感染的预测建模是必要的。该研究提出了一种利用深色特征提取技术的新方法，预先训练的Reset50作用为网络的骨干，与Logistic回归相结合作为头部模型。拟议的模型已经在Kaggle Covid-19射线照相数据集上培训。所提出的模型在CoVID-19和正常的X射线图像类上实现了100％的交叉验证精度。同样，当在组合三类上测试时，所提出的模型精度达到98.84％。

When people think of everyday things like an "egg," they typically have a mental image associated with it. This commonsense knowledge helps us understand how these everyday things work and how to interact with them. For example, when someone tries to make a fried egg, they know that it has a shell and that it can be cracked open to reveal the egg white and yolk inside. However, if a system does not have a coherent picture of such everyday things, thinking that the egg yolk surrounds the shell, then it might have to resort to ridiculous approaches such as trying to scrape the egg yolk off the shell into the pan. Do language models have a coherent picture of such everyday things? To investigate this, we propose a benchmark dataset consisting of 100 everyday things, their parts, and the relationships between these parts. We observe that state-of-the-art pre-trained language models (LMs) like GPT-3 and Macaw have fragments of knowledge about these entities, but they fail to produce consistent parts mental models. We propose a simple extension to these LMs where we apply a constraint satisfaction layer on top of raw predictions from LMs to produce more consistent and accurate parts mental models of everyday things.

The use of emojis affords a visual modality to, often private, textual communication. The task of predicting emojis however provides a challenge for machine learning as emoji use tends to cluster into the frequently used and the rarely used emojis. Much of the machine learning research on emoji use has focused on high resource languages and has conceptualised the task of predicting emojis around traditional server-side machine learning approaches. However, traditional machine learning approaches for private communication can introduce privacy concerns, as these approaches require all data to be transmitted to a central storage. In this paper, we seek to address the dual concerns of emphasising high resource languages for emoji prediction and risking the privacy of people's data. We introduce a new dataset of $118$k tweets (augmented from $25$k unique tweets) for emoji prediction in Hindi, and propose a modification to the federated learning algorithm, CausalFedGSD, which aims to strike a balance between model performance and user privacy. We show that our approach obtains comparative scores with more complex centralised models while reducing the amount of data required to optimise the models and minimising risks to user privacy.

我们提出了一个新颖的框架概念，以分析在预训练的语言模型中学习的潜在概念如何编码。它使用聚类来发现编码的概念，并通过与大量的人类定义概念对齐来解释它们。我们对七个变压器语言模型的分析揭示了有趣的见解：i）学习表示形式中的潜在空间与不同程度的不同语言概念重叠，ii）ii）模型中的下层以词汇概念（例如附加物为附加物）为主，而却是核心语言概念（例如形态学或句法关系）在中间和更高层中更好地表示，iii）一些编码的概念是多方面的，无法使用现有的人类定义的概念来充分解释。

尽管在理解深度NLP模型中学到的表示形式以及他们所捕获的知识方面已经做了很多工作，但对单个神经元的关注很少。我们提出了一种称为语言相关性分析的技术，可在任何外部特性中提取模型中的显着神经元 - 目的是了解如何保留这种知识在神经元中。我们进行了细粒度的分析以回答以下问题：（i）我们可以识别网络中捕获特定语言特性的神经元子集吗？ （ii）整个网络中的局部或分布式神经元如何？ iii）信息保留了多么冗余？ iv）针对下游NLP任务的微调预训练模型如何影响学习的语言知识？ iv）架构在学习不同的语言特性方面有何不同？我们的数据驱动的定量分析阐明了有趣的发现：（i）我们发现了可以预测不同语言任务的神经元的小亚集，ii）捕获基本的词汇信息（例如后缀），而这些神经元位于较低的大多数层中，iii，iii），而这些神经元，而那些神经元，而那些神经元则可以预测。学习复杂的概念（例如句法角色）主要是在中间和更高层中，iii），在转移学习过程中，显着的语言神经元从较高到较低的层移至较低的层，因为网络保留了较高的层以特定于任务信息，iv）我们发现很有趣在培训预训练模型之间的差异，关于如何保留语言信息，V）我们发现概念在多语言变压器模型中跨不同语言表现出相似的神经元分布。我们的代码作为Neurox工具包的一部分公开可用。

Natiq是阿拉伯语的端到端文本到语音系统。我们的语音合成器使用Encoder-Decoder架构引起了人们的注意。我们同时使用了基于TACOTRON的模型（Tacotron-1和Tacotron-2）和更快的变压器模型来从字符中生成MEL光谱图。我们将tacotron1与Wavernn Vocoder，Tacotron2与WaveLow Vocoder和ESPNET变压器与平行波甘gan vocoder串联，以从频谱图合成波形。我们使用了两个声音的内部语音数据：1）中立的男性“ hamza” - 叙述一般内容和新闻，以及2）表现力的女性“ Amina” - 叙述孩子的故事书来训练我们的模型。我们的最佳系统的平均平均意见评分（MOS）分别为Amina和Hamza的平均意见分别为4.21和4.40。使用单词和字符错误率（WER和CER）对系统的客观评估以及实时因子测量的响应时间有利于端到端体系结构ESPNET。 NATIQ演示可在线上https://tts.qcri.org提供

语言模型（LMS）在多大程度上在答案时在多大程度上建立场景的“心理模型”（例如，关于特定伦理困境的问题）？虽然认知科学表明，心理模型在人类问题解决中发挥着基本作用，但目前尚不清楚现有LMS的高问答性能是由类似的模型建设进行支持 - 如果不是，那是否可以解释他们众所周知的灾难性的失败。我们观察到Magaw是一种现有的基于T5的LM，当探测时提供了一些有用但是情境问题的有用但不足的心理模型（估计精度= 43％，有用= 21％，一致性= 42％）。我们提出梦想，一种采用情境问题作为输入，以产生精神模型的表现，没有任何其他任务的心理模型培训数据。它通过来自现有NLP资源的遥远监督来继承其社会型号。我们的分析显示，与金刚鹦鹉相比，梦想可以产生明显更好的精神模型（估计精度= 67％，有用= 37％，一致性= 71％）。最后，梦想生成的心理模型可以用作情境QA任务的其他背景。此附加上下文将MACAW零拍摄模型的答案精度提高到三个不同数据集上的+ 1％和+ 4％（绝对）。

深层神经网络在各个领域的增殖已经增加了对这些模型的解释性的需求。沿着这条线进行的初步工作，调查了这种调查的论文集中在高级表示分析上。然而，最近的工作分支集中在这些模型中分析神经元的更详细水平上的可解释性。在本文中，我们调查了神经元分析所做的工作，包括：i）在网络中发现和理解神经元的方法，ii）评估方法，iii）主要发现，包括神经元分析已解散的跨架构比较，iv）神经元的应用。探索：控制模型，域适应等，v）关于开放问题和未来研究方向的讨论。

静态嵌入的后处理已成为提高其在词汇和序列级任务上的性能。但是，在上下文化嵌入的后处理是一个研究不足的问题。在这项工作中，我们质疑从不同训练的语言模型获得的上下文化嵌入的后处理的有用性。更具体地说，我们使用Z分数，Min-Max归一化以及使用全而top方法来删除顶部原理组件，将单个神经元激活标准化。此外，我们将单位长度标准化应用于单词表示。在各种预训练的模型集中，我们表明，在表示两个词汇任务（例如单词相似性和类比）和序列分类任务的表示后处理中存在重要信息。我们的发现提出了有关使用上下文表示表示的研究研究的有趣点，并建议在应用程序中使用Z分数归一化作为要考虑的重要步骤。